对抗性训练（AT）已被证明是将强大的对抗性鲁棒性引入深层神经网络的有效方法。但是，AT的高计算成本禁止在Federated Learning（FL）应用程序中使用有限的计算能力和较小的记忆足迹，例如，在资源受限的边缘设备上部署大规模的AT。以前很少有研究试图同时解决这些限制。在本文中，我们提出了一个名为Federated对抗性解耦学习（vade）的新框架，以启用FL中的资源受限的边缘设备。淡入淡出通过将解耦贪婪学习（DGL）应用于联合的对抗训练来减少计算和内存使用量，以便每个客户在每个通信回合中只需要在整个模型的一个小模块上执行。此外，我们通过添加辅助重量衰减来减轻客观不一致并实现更好的性能来改善香草DGL。 Fade为对抗性鲁棒性和融合提供了理论保证。实验结果还表明，淡出可以显着减少与完全关节训练保持几乎相同的准确性和鲁棒性的同时消耗的计算资源。

推理，学习和决策的整合是构建更多普通AI系统的关键。作为朝这个方向的一步，我们提出了一种新颖的神经逻辑架构，可以解决电感逻辑编程（ILP）和深增强学习（RL）问题。我们的体系结构通过分配权重来谓词而不是规则来定义一阶逻辑程序的受限但呈现的连续空间。因此，它是完全可分的，可以用梯度下降有效地培训。此外，在与演员批评算法的深度RL设置中，我们提出了一种新颖的高效评论家建筑。与ILP和RL问题的最先进方法相比，我们的命题实现了出色的性能，同时能够提供完全可解释的解决方案和更好地缩放，特别是在测试阶段。

Online optimization with multiple budget constraints is challenging since the online decisions over a short time horizon are coupled together by strict inventory constraints. The existing manually-designed algorithms cannot achieve satisfactory average performance for this setting because they often need a large number of time steps for convergence and/or may violate the inventory constraints. In this paper, we propose a new machine learning (ML) assisted unrolling approach, called LAAU (Learning-Assisted Algorithm Unrolling), which unrolls the online decision pipeline and leverages an ML model for updating the Lagrangian multiplier online. For efficient training via backpropagation, we derive gradients of the decision pipeline over time. We also provide the average cost bounds for two cases when training data is available offline and collected online, respectively. Finally, we present numerical results to highlight that LAAU can outperform the existing baselines.

稀疏的一般矩阵乘法（SPGEMM）是许多科学应用中的基本构件。 SPGEMM的一项关键任务是计算或预测有效的内存分配和负载平衡的输出矩阵的结构（即，每个输出行的非零元素的数量），这会影响SPGEMM的整体性能。现有工作要么精确地计算出输出结构，要么采用基于上限或采样的方法来预测输出结构。但是，这些方法要么需要太多执行时间，要么不够准确。在本文中，我们提出了一种基于采样的新方法，与现有基于采样的方法相比，具有更好的精度和低成本。该方法首先通过利用中间产品的数量（表示为flop）和同一采样结果矩阵的非零元素（表示为NNZ）来预测SPGEMM的压缩比。然后，通过将每次输出行除以预测的压缩率来获得预测的输出结构。我们还建议使用优化的计算开销的基于采样的方法的参考设计，以证明所提出的方法的准确性。我们构建具有各种矩阵维度和稀疏结构的625个测试用例，以评估预测准确性。实验结果表明，在最坏的情况下，所提出方法和参考设计的绝对相对误差分别为1.56 \％和8.12 \％，分别为25 \％和156 \％。

测量视觉内容的感知是计算机视觉中的一个长期问题。已经开发了许多数学模型来评估图像的外观或质量。尽管此类工具在量化诸如噪声和模糊水平之类的降解方面具有有效性，但这种量化与人类语言松散结合。当涉及到对视觉内容感觉的更抽象的看法时，现有方法只能依靠受监督的模型，这些模型是通过经过艰苦的用户研究收集的标记数据明确培训的。在本文中，我们通过探索在对比的语言图像预训练（剪辑）模型中探索丰富的视觉语言，超越了传统的范例，以评估质量感知（外观）和抽象感知（感受）的图像中的零 - 示意。特别是，我们讨论有效的及时设计，并展示有效的及时配对策略来利用先验。我们还提供对受控数据集和图像质量评估（IQA）基准测试的广泛实验。我们的结果表明，剪辑捕获了有意义的先验，可以很好地推广到不同的感知评估。代码将在https://github.com/iceclear/clip-iqa上可用。

通过将域知识与标记的样本集成在一起，知情的机器学习已经出现，以提高广泛应用的学习绩效。尽管如此，对注射领域知识的作用的严格理解尚未探索。在本文中，我们考虑了一个知情的深度神经网络（DNN），并将过度参数化和域知识纳入其培训目标功能，并研究域知识如何以及为什么会使绩效受益。具体而言，我们定量地证明了领域知识的两个好处在知情学习中 - 正规化基于标签的监督并补充标签样品 - 并揭示了人口风险的标签和知识不完美性之间的权衡。基于理论分析，我们提出了一个广义知情的培训目标，以更好地利用知识的好处，并平衡标签和知识不完美，这是由人口风险约束的验证。我们对抽样复杂性的分析阐明了如何选择超参数进行知情学习的灯光，并进一步证明了知识知情学习的优势。

在分析人类运动视频时，来自现有姿势估计器的输出抖动是高度不平衡的。大多数帧只遭受轻微的傻瓜，而在那些具有遮挡或图像质量差的框架中发生了重要的困难。这种复杂的姿势通常持续存在于视频中，导致估计结果差和大型抖动的连续帧。现有的基于时间卷积网络，经常性神经网络或低通滤波器的现有姿态平滑解决方案不能处理这种长期抖动问题，而不考虑抖动视频段内的显着和持久的错误。通过上述观察，我们提出了一种新颖的即插即用细化网络，即光滑网络，可以附加到任何现有的姿势估计，以提高其时间平滑度，同时提高其每个帧精度。特别是，SmoothNet是一个简单而有效的数据驱动的全连接网络，具有大的接收领域，有效地减轻了长期抖动与不可靠的估计结果的影响。我们在十二个骨干网络上进行广泛的实验，跨越2D和3D姿势估算，身体恢复和下游任务。我们的结果表明，所提出的光滑网络始终如一地优于现有的解决方案，尤其是具有高误差和长期抖动的夹子。

学习优化（L2O）最近被出现为通过利用神经网络的强预测力来解决优化问题的有希望的方法，并提供比传统求解器更低的运行时复杂性。虽然L2O已经应用于各种问题，但对于Minimax优化形式的一个至关重要的且挑战性的问题 - 稳健的组合优化 - 在很大程度上仍然存在。除了指数大的决策空间之外，对于鲁棒组合优化的关键挑战在于内部优化问题，其通常是非凸出的并且缠绕在外的优化中。在本文中，我们研究了强大的组合优化，并提出了一种新的基于学习的优化器，称为LRCO（用于鲁棒组合优化的学习），其在存在不确定上下文存在下快速输出鲁棒解决方案。 LRCO利用一对基于学习的优化器 - 一个用于最小化器，另一个用于最大化器 - 使用它们各自的目标函数作为损失，并且可以培训而无需标签训练问题实例。为了评估LRCO的性能，我们对车辆边缘计算中的任务卸载问题进行仿真。我们的结果突出显示LRCO可以大大降低最坏情况的成本并提高鲁棒性，同时具有非常低的运行时复杂性。

卷积神经网络（CNNS）用于许多现实世界应用，例如基于视觉的自主驾驶和视频内容分析。要在各种目标设备上运行CNN推断，硬件感知神经结构搜索（NAS）至关重要。有效的硬件感知NAS的关键要求是对推理延迟的快速评估，以便对不同的架构进行排名。在构建每个目标设备的延迟预测器的同时，在本领域中通常使用，这是一个非常耗时的过程，在极定的设备存在下缺乏可扩展性。在这项工作中，我们通过利用延迟单调性来解决可扩展性挑战 - 不同设备上的架构延迟排名通常相关。当存在强烈的延迟单调性时，我们可以重复使用在新目标设备上搜索一个代理设备的架构，而不会丢失最佳状态。在没有强烈的延迟单调性的情况下，我们提出了一种有效的代理适应技术，以显着提高延迟单调性。最后，我们验证了我们的方法，并在多个主流搜索空间上使用不同平台的设备进行实验，包括MobileNet-V2，MobileNet-V3，NAS-Bench-201，Proxylessnas和FBNet。我们的结果突出显示，通过仅使用一个代理设备，我们可以找到几乎与现有的每个设备NAS相同的帕累托最优架构，同时避免为每个设备构建延迟预测器的禁止成本。 github：https://github.com/ren-research/oneproxy.

Masked image modeling (MIM) performs strongly in pre-training large vision Transformers (ViTs). However, small models that are critical for real-world applications cannot or only marginally benefit from this pre-training approach. In this paper, we explore distillation techniques to transfer the success of large MIM-based pre-trained models to smaller ones. We systematically study different options in the distillation framework, including distilling targets, losses, input, network regularization, sequential distillation, etc, revealing that: 1) Distilling token relations is more effective than CLS token- and feature-based distillation; 2) An intermediate layer of the teacher network as target perform better than that using the last layer when the depth of the student mismatches that of the teacher; 3) Weak regularization is preferred; etc. With these findings, we achieve significant fine-tuning accuracy improvements over the scratch MIM pre-training on ImageNet-1K classification, using all the ViT-Tiny, ViT-Small, and ViT-base models, with +4.2%/+2.4%/+1.4% gains, respectively. Our TinyMIM model of base size achieves 52.2 mIoU in AE20K semantic segmentation, which is +4.1 higher than the MAE baseline. Our TinyMIM model of tiny size achieves 79.6% top-1 accuracy on ImageNet-1K image classification, which sets a new record for small vision models of the same size and computation budget. This strong performance suggests an alternative way for developing small vision Transformer models, that is, by exploring better training methods rather than introducing inductive biases into architectures as in most previous works. Code is available at https://github.com/OliverRensu/TinyMIM.